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В роботі розглядаються алгоритми методу Ньютона для розв'язування систем нелінійних рівнянь (СНР) 
та методу Рунге-Кутта четвертого порядку для розв'язування задач Коші для систем звичайних диференці- 
альних рівнянь (СЗДР) для багатоядерних комп'ютерів з процесорами Пе! Хеоп РБі. При розробці алгоритмів 
використовувалась багаторівнева модель паралельних обчислень та враховувалися особливості архітектури 
багатоядерного комп'ютера. Наведено часи розв'язування СНУ і СЗДР різних порядків, обраховані коефіцієнти 
прискорення і ефективності використання запропонованих методів. 
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Вступ 

Одним із основних засобів вивчення 
процесів і явищ різної природи, що вини- 
кають у суспільстві, економіці, науці та тех- 
ніці, є чисельне моделювання. При чисель- 
ному моделюванні в різних галузях науки і 
техніки дуже часто виникають розрахункові 
задачі, які є або системами нелінійних 
рівнянь (СНР), або задачами з початковими 
умовами для систем звичайних диферен- 
ціальних рівнянь (СЗДР). 

При розв'язуванні деяких задач, 
наприклад, пов'язаних із рухом керованих 
об'єктів, виникає необхідність розв'язувати 
СЗДР або СНР високого порядку швидше, 
ніж відбувається процес у реальному часі; 
більш того, їх розв'язування потребує 
багатоваріантних розрахунків та значних 
обчислювальних ресурсів. 
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Розрахунок таких задач на комп'ю- 
терах вимагає відповідного збільшення 
продуктивності комп'ютерів. Збільшення 
продуктивності комп'ютерів тісно пов'я- 
зано зі збільшенням кількості процесорів, 
що входять до складу паралельного 
комп'ютера. Але збільшення числа проце- 
сорів у паралельних комп'ютерах часто 
призводить до значного збільшення кому- 
нікаційних втрат і зниження ефективності 
їх використання. 

Вимоги до високопродуктивної об- 
числювальної техніки випереджають мож- 
ливості традиційних паралельних комп'ю- 
терів. Тому особливу увагу приділяють 
розробці суперкомп'ютерів принципово 
нової архітектури. До таких  супер- 
комп'ютерів належать суперкомп'ютери, 
побудовані на розроблених корпорацією 
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Пе! багатоядерних процесорах 
Пе! Хеоп Ррі (1). Нове покоління проце- 
сорів Паіе! Хеоп Ррі х200 є процесорами- 
прискорювачами. Вони можуть повністю 
замінити центральні процесори у парале- 
льному комп'ютері |2|. Це, зокрема, озна- 
чає можливість виконання без перекомпі- 
ляції всіх наявних програм і зменшення 
складності, пов'язаної із забезпеченням 
одночасного використання центральних 1 
графічних процесорів в одній системі. 
Кожний з таких прискорювачів побу- 
дований на мікросхемах, що містять до 
36 процесорних «плиток» (ііе). Кожна 
«плитка» містить два процесорних ядра з 
двома УР (векторними процесорними 
пристроями) для роботи з числами в фор- 
маті з плаваючою комою подвійної точно- 
сті. Прискорювач може працювати як з 
високопродуктивною вбудованою пам'ят- 
тю МСОРКАМ (Миі-Срепаеі ОК АМ), так і 
з оперативною пам'яттю ДІВА, що 
дозволяє обробляти великі обсяги даних. 
Разом зі зростанням можливостей 
комп'ютерів змінюються і підходи до 
створення паралельних алгоритмів. Якщо 
раніше необхідно було створювати пара- 
лельні алгоритми розв'язування задач на 
однотипних процесорах, то зараз при роз- 
робці паралельних алгоритмів необхідно 
враховувати різні архітектури обчислюб0- 
вальних ресурсів, щоб алгоритми були 
ефективними і давали можливість якнай- 
швидше дотримати розв'язок задач та 
мінімізувати комунікаційні витрати. 
Зупинимось на питанні розробки 
алгоритмів і програм та організації обчис- 
лень при розв'язуванні задач з початко- 
вими умовами для СЗДР та СНР на 
паралельних комп'ютерах з багатоядер- 
ними процесорами Пе! Хеоп Рі х200. 
Структура процесорів Пе! Хеоп РР 
дає можливість використання кількох 
рівнів паралелізму: 
паралелізм | рівня | обчислювальних 
вузлів (ргосе85 Ісусе! рагаПензт - РІР) 
дає можливість проводити обчислення у 
вигляді паралельних процесів, перед- 
бачає використання розподіленої між 
паралельними процесами пам'яті, забез- 
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печує синхронізацію обчислень та обмін 
інформацією між процесами; 

- паралелізм рівня потоків («ргеай Іемеї 
рагаПелвт - ТІР) передбачає викорис- 
тання потоків, які працюють із загаль- 
ною пам'яттю; 

- паралелізм обробки даних векторними 
арифметико-логічними пристроями (ага 
Ісус! рагайен5т - ДІР) дає можливість 
автоматичного включення паралелізму в 
програму за допомогою компілятора. 

З метою отримання ефективних 
алгоритмів розпаралелювання необхідно: 

- розподілити задачу на підзадачі таким 
чином, щоб мінімізувати кількість 1 
обсяг інформаційної залежності між 
ними; 

- визначити рівні паралелізму та середо- 
вище розпаралелення; 

- врахувати структуру пам'яті процесор- 
них пристроїв; 

- розподілити дані та обчислення між 
процесами, забезпечивши рівномірне 
завантаження обчислювальних вузлів 
комп'ютера. 

Постановка задач з наближеними 
вихідними даними для систем неліній- 
них рівнянь 

Нехай дана система п нелінійних 
рівнянь 


170)-0, а) 
де 709-(пО)5 (ГО) "- 0 пе 
вимірна вектор-функція, а 
ха (2 Ро СДН ) фе п-вимірний вектор, 


причому /(х)-0 є деяким наближенням до 
точної системи нелінійних рівнянь Ф(у)-0, 
і для цих вектор-функцій виконується 
нерівність 
Ли) - (м «б 2) 

на будь-якому п-вимірному векторі и. Для 
розв'язування задачі (1) задаються: 
початкове наближення х'), область 
ОР- (а, «хо, ізі, 2 ауді в якій 
шукається розв'язок, необхідна точність є 
отримання наближення до розв'язку 
системи. При цьому хЗ є р. Нижнім 
індексом у формулах позначені номери 
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компонент векторів, а верхнім - номери 
ітерацій. 
п 


дб 


Ох; 
Лі, уч1 


системи (1) (або деяке наближення до неї), 
то ітераційний процес методу Ньютона 
знаходження розв'язку з при заданому 
початковому наближенні можна записати у 
вигляді 


Якщо На - матриця Якобі 


Ну - -ух9), (3) 


де у) ех) -х9 - поправка, Кк «0,1... - 
номер ітерації, 1 
хін) - х(Ю ру. (4) 


Як видно з формули (3), на кожній 
ітерації необхідно розв'язувати систему 
лінійних алгебраїчних рівнянь, обчислю- 
ючи значення вектор-функції 1 матрицю 
Якобі. 

Для отримання розв'язку системи 
нелінійних рівнянь (1) з заданою точністю 


Пе - х| «є ітераційний процес необхідно 


закінчувати при виконанні умови 


(оо) є РАВ (5) 


лю 
де НІ - матриця, обернена по 


відношенню до матриці Якобі, обчисленої 
на К-ій ітерації |3|. Але оскільки для 
перевірки умови (5) на кожній ітерації 
необхідно обертати матрицю Якобі, що 
вимагає значної кількості арифметичних 
операцій, то пропонується на перших 
ітераціях скористатися більш економною 


умовою закінчення ітерацій Р (хе) «є,а 


після | її виконання 
перевірки умови (35). 
Отже, задачу знаходження розв'язку 

СНР можна розділити | на наступні 

підзадачі: 

1) обчислення вектор-функції; 

2) обчислення матриці Якобі; 

3) розв'язування отриманої системи 
лінійних алгебраїчних рівнянь (СЛАР) 
за формулою (3); 


переходити до 
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4) обчислення наступного наближення до 
розв'язку СНР за формулою (4), 
використовуючи отриманий розв'язок 
СЛАР; 

5) перевірка умов закінчення ітерацій-ного 
процесу; 

6) оцінка якості наближеного розв'язку за 
формулою (3). 

Паралельний 
Ньютона 

На рівні РІР паралелізму обчислю- 
вальних вузлів паралельний алгоритм 
методу Ньютона реалізується в середовищі 
МРІ з розподіленою пам'яттю на 
р процесах. Тому до початку ітераційного 
процесу в пам'ять кожного З 
р МРІ процесів посилається вхідна інфор- 
мація (порядок системи, вектор початко- 
вого наближення до розв'язку, межі об- 
ласті, в якій шукається розв'язок, похибка 
в початкових даних, необхідна точність 
отримання розв'язку та ін.). З метою забез- 
печення рівномірного завантаження обчи- 
слювальних елементів комп'ютера вико- 
нується автоматичний розподіл обчис- 
лення значень компонент п-вимірної век- 
тор-функції на р блоків (р - кількість МРІ 
процесів) |3, 41. 

Підзадачі 1)- 5) виконуються на 
кожній ітерації алгоритму методу Ньюто- 
на, а підзадача 6)- по завершенню ітера- 
ційного процесу у вигляді паралельних 
МРІ процесів. 

Обмін даними між процесами для 
підзадач 3), 4), 6) відбувається за стандар- 
тами  МРІ (Мез5заєе Раз5іпе 4 Птіегіасе - 
Інтерфейс Передачі Повідомлень), який 
описує способи обміну повідомленнями між 
паралельними процесами в системах з 
розподіленою пам'яттю. 

Оскільки для кожного з МРІ процесів 
підзадачі 1)- 6)- виконуються однорідні 
операції над великим обсягом даних, то 
наступний крок розпаралелювання доціль- 
но реалізовувати в середовищі ОрепПМР 
(Ореп  Миїц-Ргосезвіпє)- сукупність ди- 
ректив компілятора, бібліотечних функцій 
і змінних оточення, призначених для 
програмування багатопотокових додатків у 
багатоядерних 1 багатопроцесорних систе- 


алгоритм методу 
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мах із загальною пам'яттю. Це другий 
рівень паралелізму- рівень паралелізму 
потоків. Тут кожна з підзадач 1) - б) верх- 
нього рівня паралелізму розпаралелюється 
між деякою кількістю потоків («ргеадз) на 
вільних ядрах з використанням спільної 
пам'яті. 

На третьому рівні паралелізму - 
паралелізм обробки даних - проводиться 
автоматична векторізація циклів за раху- 
нок використання векторних процесорних 
пристроїв (УРО). 

Постановка задачі Коші для 
системи звичайних диференціальних 


рівнянь 
Нехай дана система п звичайних 
диференціальних | рівнянь. Задачу з 


початковими умовами (задачу Коші) для 
СЗДР п-го порядку на інтервалі|/,,Т| 


розглядатимемо у вигляді: 


чу 
й - ЛО, )), (6) 
У(9) 7 Уо » (7) 


Т - 
де у- Со - шуканий вектор, а 
права частина  системи-  п-вимірна 
неперервна вектор-функція 


76 «(06 У) 56 У) з ГьУ)). 


При моделюванні реальних процесів 
на комп'ютері за допомогою СЗДР виникає 
ряд труднощів, зокрема, потреба мати 
справу | із | задачами | з | наближеними 
вихідними даними. Наближений характер 
вихідних даних може буги обумовлений 
наступними причинами: 

- похибками у вихідних даних; 
похибками у значеннях правої частини; 
застосуванням чисельного (дискет-ного) 
методу інтегрування і округленням 
чисел при обчисленнях; 
дискретизацією динамічних задач по 
просторових змінних. 

Тому |на практиці, як правило, 
замість задачі (6), (7) маємо задачу з 
наближеними вихідними даними: 


ау 
р ві 76, у), (3) 
У(15) З Уо, (9) 
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де |У» - уа| 5 б» Фут) є Ці м) Аг, мо), 
|д(г, уг)| « ДА для довільних функцій и/1). 
Такі задачі їі розв'язуються на 
комп'ютерах за допомогою чисельних 
методів. Одним із методів, що застосо- 
вується для чисельного інтегрування задач 
з початковими умовами для СЗДР, є метод 
Рунге-Кутта 4-го порядку. Цей метод є 
найбільш | розповсюдженим методом 
чисельного розв'язування задач з почат- 
ковими умовами для СЗДР. 
Класичний метод Рунге-Кутта 4-го 
порядку реалізується за формулами: 
УП ау? (Ку кдк, кю, НК,)/6, (10) 
де 
ку зв, У 
Кк, еп, А, /2, у о 0,5К.), (1) 
Кк з А.О, А, 12, у 4 0,5К,), 
кейбО0А,У як), 
і-0,1,2,... верхній індекс- номер точки, 
нижній індекс - номер компоненти вектора. 
Таким чином процес знаходження 
розв'язку задачі з початковими умовами 
для  СЗДР методом Рунге-Кутта 4-го 
порядку можна розділити на наступні 
підзадачі, які виконуються як паралельні 
МРІ процеси на р ядрах (паралелізм рівня 
обчислювальних вузлів): 
1) обчислення вектор-функції / (г, у); 
2) обчислення векторів К,, К,, К, та К, за 


формулами (11); 
3) обчислення 
у (а Уваеєй, У, 14 у наступній точці 
інтегрування, | виходячи із | уже 
обчисленого розв'язку у попередній 
точці (попередніх точках) за формулою 
10); 
4) двократним інтегруванням з довжиною 
кроку Лп,/2 обчислюється вектор уві) 


вектора розв'язку 


та  однократним  інтегруванням з 
довжиною кроку й, обчислюється 


вектор у"), Після чого обчислюється 
похибка апроксимації системи за 


формулою у) зтах уся) -. уд : 


Іс )«п 
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5) перевірка умови досягнення заданої 
точності; 

6) перевірка умови досягнення кінцевої 
точки інтервалу інтегрування; 

7) обчислення константи Ліпшиця. 

Паралельний алгоритм методу 
Рунге-Кутта 4-го порядку точності 

При розв'язуванні задач З 
початковими умовами для СЗДР значна 
частина арифметичних операцій припадає 
на обчислення  вектор-функції правої 
частини системи. Тому у більшості чисель- 
них методів, у першу чергу, розпаралелю- 
ється обчислення компонент  вектор- 
функції правої частини системи рівнянь на 
вибраній кількості обчислювальних еле- 
ментів комп'ютера. 

Щоб забезпечити рівномірне заванта- 
ження обчислювальних елементів комп'ю- 
тера, необхідно виконати автоматичний 
розподіл обчислення значень компонент 
вектор-функції на р блоків, де р - кількість 
процесів |5). 

На рівні паралелізму обчислювальних 
вузлів у середовищі МРІ з розподіленою 
пам'яттю | на | р процесах реалізуються 
підзадачі 1)-6) на кожному кроці інтегру- 
вання алгоритму, а підзадача 7)- по 
завершенні процесу інтегрування. Обмін 
між даними для підзадач 2), 3) та 4) відбу- 
вається за стандартами МРІ. 

Оскільки підзадачі 1)-6) включають в 
себе виконання однорідних операцій над 
великою кількістю даних, то реалізується 
другий рівень паралелізму - рівень парале- 
лізму потоків з використанням середовища 
ОрепПМР. Туг кожна з підзадач 1)-6) 
розпаралелюється між деякою кількіс-тю 
потоків  ((Шгеад5) на вільних ядрах з 
використанням спільної пам'яті. 

На третьому рівні паралелізму - пара- 
лелізмі обробки даних -- проводиться авто- 
матична векторизація циклів за рахунок 


використання | векторних |  процесорних 
пристроїв (УРГ). 
Експериментальне дослідження 


розроблених паралельних алгоритмів 
зазначених методів проводилися на 
паралельному комп'ютері  Інпарком хр, 
розробленому в Інституті кібернетики 


О А.Н. Нестеренко, Т.О. Герасимова, І.А. Баранов 


ім. В.М. Глушкова НАН України спільно з 
ДП «Електронмаш». Цей комп'ютер має 
наступні характеристики: 
- процесори: Пігеі Хеоп РР 7210 (64 ядра) з 
частотою 1.3 ГГц; 

- об'єм швидкої пам'яті МСРЕКАМ: 16 Гб; 
- обсяг оперативної пам'яті: 192 Гб; 
- об'єм 55Р накопичувача: 240 Гб. 

Для дослідження розробленого пара- 
лельного алгоритму методу Ньютона 
розв'язувалась СНР: 


Ух) «Ол ах - 


чІ 


5 ь ЧУ 
«інїк3) -0, 


п 1/2 


12) 


при заданому початковому наближенні 


-І 
о не в області реа, Ко «Б, 
п 


220.12. а 02-Г. 

У таблиці | представлені | часи 
розв'язування СНР (12) порядку п - 10 000 
з використанням багаторівневого парале- 
лізму, тобто р МРІ процесів на верхньому 
рівні паралелізму, р ітеадз тредів | для 
директив  ОрепПМР на другому рівні 
паралелізму та автоматична векторизація 
циклів за рахунок використання векторних 
процесорних пристроїв на третьому рівні 
паралелізму. В останньому стовпчику 
таблиці наведено часи розв'язування цієї ж 
СНР з використанням | лише р МРІ 
процесів. 


Таблиця 1. Часи розв'язування СНР у сек. 


р їтеай 8 16 32 р МРІ 


р 


1 732,88 | 383,67 | 253,51 | 7785,00 


4 331,7 | 203,55 | 213,69 | 1984,17 


8 203,98 | 213,88 | 242,34 11000,00 


16 214,41 | 241,73 538,44 


Отже, використання багаторівневого 
паралелізму призводить до суттєвого 
скорочення часу розв'язування СНР. 


Коефіцієнт прискорення 5, - Т/Т, , 


63 


де Т, - час розв'язування послідовним 
- З 
алгоритмом; Т, - часи розв'язування на 


р ядрах та р ігеайзх тредах для СНР (12) 
порядку | п- 10000 представлені /|ш на 


рисунку І. 


-- - 78 МРі процесів 


--о т 16 МРі процесів 


мет 32 МРІ процеси 


Коефіцієнт прискорення 


Кількість тредів 


Рис. 1. Коефіцієнт прискорення 


Результати, наведені | на | рис. 2, 
свідчать, що розроблений паралельний 
алгоритм забезпечує  масштабованість, 
тобто час розв'язування задачі зменшу- 
ється пропорційно росту кількості обчи- 
слювальних пристроїв. Найбільше приско- 
рення порівняно з послідовним алгорит- 
мом одержано при використанні р МРІ 
процесів та р геадйз тредів для директив 
ОрепПМР, для яких рр Іпгеайз - 64, що 
дорівнює кількості ядер на 32 плитках (по 
2 ядра на плитку). Тобто, для отримання 
максимального прискорення необхідно 
враховувати архітектуру комп'ютера. 

Для | дослідження | розробленого 
паралельного алгоритму методу Рунге- 
Кутта 4-го порядку розв'язувалась задача 


Коші для системи звичайних 
диференціальних рівнянь: 
ди; п-1 
--Ушу зи, нп(зт)я 241, | (13) 
а! а 
/ 
з початковими умовами и; (0) «1 


(1 2 0.1,...,п-1), на інтервалі 0,0; 0,4). 

Наведемо | деякі /щ з 
результатів. 

Часи розв'язування СЗДР (13) 
порядку п - 19963 з використанням 
багаторівневого паралелізму, тобто 
р МРІ процесів | на | верхньому рівні 


отриманих 


64 
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паралелізму, р ігеайдз тредів для директив 
ОрепМР на другому рівні паралелізму та 
автоматичної  векторизації циклів за 
рахунок використання векторних проце- 
сорних пристроїв на третьому рівні 
паралелізму представлені в таблиці?2. В 
останньому стовпчику таблиці наведено 
часи розв'язування цієї ж  СЗДР з 
використанням лише р МРІ процесів. 


Таблиця 2. Часи розв'язування СЗДР у сек. 


р їтеайз 8 16 32 р МРІ 
р 
1 83,93 | 45,53 2401 | 617,26 
2 66,70 | 34,29 19,61 | 306,30 
4 28,17 | 15,69 15,80 | 153,22 
8 15,39 | 14,11 15,09 76,91 
16 13,24 | 14,39 37,05 
Коефіцієнти прискорення для даної 


СЗДР порядку п - 19 965 представлено на 
рис. 2. 


40 


-- - "8 МРІ процесів 


-- з 16 МРІ процесів 


32 МРІ процеси 


20 


Коефіцієнт прискорення 
75) 
о 


Кількість тредів 


Рис. 2. Коефіцієнт прискорення 


Результати, наведені з на | рис. 2, 
свідчать, що розроблений паралельний 
алгоритм забезпечує зростання коефіцієнта 
прискорення залежно від кількості 
процесів. | Найбільше прискорення у 
порівнянні з послідовним алгоритмом 
одержано | при використанні ї р МРІ 
процесів та р лгеадйз тредів для директив 
ОрепМР, для яких рр іпгеадз « 128. 
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Висновки 
Використовуючи багаторівневу мо- 
дель паралельних обчислень з урахува- 
нням особливостей архітектури комп'юте- 
ра, розроблено ефективні алгоритми та 
програми розв'язування СНР та задач з по- 
чатковими умовами для СЗДР на пара- 
лельних комп'ютерах | з - процесорами 
Пліс! Хеоп РБі другого покоління. При цьо- 
му час розв'язування задач суттєво скоро- 
чується, що дає можливість розв'язувати 
задачі високих порядків у реальному часі, 
які висуває сучасне життя перед наукою. 
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5оте арргоаспез о деуеіор рагаїїеі 
аїгогіїртя їог 50Їуіпе га5к5 оп сопіриіег5 
ур Пліеї Хеоп РПі ргосе85огя 

Мафетайса!  пюодейпе 15 опе ої 
Гипдатепіа! (0015 Їог Ше 5шауїпє ої уагіоця 
паїшге ргосез5е5 апа рбепогіпа агізіпє іп 
5осісїу, есопоту, 5сіепсе апа епоіпеегіпе. УМегу 
ойеп дигіпє Ше питегіса! пподейтя, іп уагіоця 
ргапсре5 ої зсіепсе апа епеєїпеегіпя, ргобіетя 
агізе уурісі аге еїфег поп-Ппеаг 5узіегія (МІ.5) 
ог іпіца)-уаше ргобіетя5 ог 5у5іетв ої огаїпагу 
ФНегеппа! едцацопя (ОДБ). 

Тре  5оіміпє ої зиср ргобіетя оп 
согариїег5 гедціге5 ап іпсгеа5е їп сопариїег5 
ргодисйуїу.  ТБе  іпсгеазе їй  сопприкег 
регіогтапсе 15 сіо5еЇу ПпКеа (0 ап іпсгеа5е їп 
Фе питБег ої ргосез8ог8. Номеуег, ап іпсгеа5е 
їп атоипі ої ргосе85ог5 їп рагаПе! сопаритег5 
уегу ойеп ге5ції5 Бої їп Бе соп5ідегабіе 
єгом'п ої сопаптипісацопаї І055е5 апа іп Ше 
гедисПпоп їп Феїг ргодиспуїу. 

ТРре гедиігетепіз (о рієбр регіогтапсе 
сотрийте, пзасріпегу зиграз5 Ше рогепцаПйиез 
ої (гадійопаї! рагаПе! сопарикегя. ТРегеїоге, а 
зресіа| айепійоп 5роцій Бе раї (о Фе 
деуеіортепі ої з5ипрегсогариїег5 роз5ез5іпе, 
ргіпсіраПу пему агспігесіиге. Миїй-соге Пе! 
Хеоп Ррі ргосе55ог5 Шеуеіоред Бу Пе! 
согрогайоп  Беїопеє | (0 | 5исп  сіає5 ої 
зарегсотриїег5. | ТРре пему || репегайоп 
ргосез8ог5 Пи! Хеоп РРі х200 аге ргосе55ог5- 
ассеіегаїог5 муріср соці сотріегеіу геріасе 
сепіта! ргосе58ог5 їп рагаПе! сопариїег. 

Тре рарег деаїз уліб 5оте арргоаспез іо 
Фе  демеіортепі ої рагаПе! аїідогіїргл5 
іпіепдед ог Ше 50Іміпо Боф ої поп-Ппеаг 
зузіеті5 ог іпіцаї-уаїше ргобіетя їог 5у5(етп5 
ої огдїпагу діНегеппа! едцайоп5 оп сопарикег3я 
уліб | пацій-соге | Шке| ХеопРІї | х200 
ргосез5ог8. Трезе арргоасПпез аге Ба5ед оп Ше 
етріоутепі ої піиій-Ісус! піде! ої рагаПеї! 
сотригайопя уу/рісп епабіе5 (о сопзідегабіу 
зітпрійу Ше ргоггаттіпе ргосе55. 
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